Gradient-based explanation is the cornerstone of explainable deep networks, but it has been shown to be vulnerable to adversarial attacks. However, existing works measure the explanation robustness based on $\ell_p$-norm, which can be counter-intuitive to humans, who only pay attention to the top few salient features. We propose explanation ranking thickness as a more suitable explanation robustness metric. We then present a new practical adversarial attacking goal for manipulating explanation rankings. To mitigate the ranking-based attacks while maintaining computational feasibility, we derive surrogate bounds of the thickness that involve expensive sampling and integration. We use a multi-objective approach to analyze the convergence of a gradient-based attack to confirm that the explanation robustness can be measured by the thickness metric. We conduct experiments on various network architectures and diverse datasets to prove the superiority of the proposed methods, while the widely accepted Hessian-based curvature smoothing approaches are not as robust as our method.
translated by 谷歌翻译
Objective: We aim to develop an open-source natural language processing (NLP) package, SODA (i.e., SOcial DeterminAnts), with pre-trained transformer models to extract social determinants of health (SDoH) for cancer patients, examine the generalizability of SODA to a new disease domain (i.e., opioid use), and evaluate the extraction rate of SDoH using cancer populations. Methods: We identified SDoH categories and attributes and developed an SDoH corpus using clinical notes from a general cancer cohort. We compared four transformer-based NLP models to extract SDoH, examined the generalizability of NLP models to a cohort of patients prescribed with opioids, and explored customization strategies to improve performance. We applied the best NLP model to extract 19 categories of SDoH from the breast (n=7,971), lung (n=11,804), and colorectal cancer (n=6,240) cohorts. Results and Conclusion: We developed a corpus of 629 cancer patients notes with annotations of 13,193 SDoH concepts/attributes from 19 categories of SDoH. The Bidirectional Encoder Representations from Transformers (BERT) model achieved the best strict/lenient F1 scores of 0.9216 and 0.9441 for SDoH concept extraction, 0.9617 and 0.9626 for linking attributes to SDoH concepts. Fine-tuning the NLP models using new annotations from opioid use patients improved the strict/lenient F1 scores from 0.8172/0.8502 to 0.8312/0.8679. The extraction rates among 19 categories of SDoH varied greatly, where 10 SDoH could be extracted from >70% of cancer patients, but 9 SDoH had a low extraction rate (<70% of cancer patients). The SODA package with pre-trained transformer models is publicly available at https://github.com/uf-hobiinformatics-lab/SDoH_SODA.
translated by 谷歌翻译
深度神经网络(DNN)越来越多地应用于恶意软件检测中,其鲁棒性已广泛争论。传统上,对抗性示例生成方案依赖于详细的模型信息(基于梯度的方法)或许多样本来训练替代模型,在大多数情况下都无法使用。我们提出了基于实例的攻击的概念。我们的方案是可解释的,可以在黑箱环境中起作用。给定一个特定的二进制示例和恶意软件分类器,我们使用数据增强策略来生成足够的数据,我们可以从中训练一个简单的可解释模型。我们通过显示特定二进制的不同部分的重量来解释检测模型。通过分析解释,我们发现数据小节在Windows PE恶意软件检测中起重要作用。我们提出了一个新函数,以保存可以应用于数据子分校的转换算法。通过采用我们提出的二进制多样化技术,我们消除了最加权零件对产生对抗性例子的影响。在某些情况下,我们的算法可以欺骗DNN,成功率接近100 \%。我们的方法的表现优于最新方法。最重要的方面是我们的方法在黑框设置中运行,并且可以通过域知识来验证结果。我们的分析模型可以帮助人们改善恶意软件探测器的鲁棒性。
translated by 谷歌翻译
虽然外源变量对时间序列分析的性能改善有重大影响,但在当前的连续方法中很少考虑这些序列间相关性和时间依赖性。多元时间序列的动力系统可以用复杂的未知偏微分方程(PDE)进行建模,这些方程(PDE)在科学和工程的许多学科中都起着重要作用。在本文中,我们提出了一个任意步骤预测的连续时间模型,以学习多元时间序列中的未知PDE系统,其管理方程是通过自我注意和封闭的复发神经网络参数化的。所提出的模型\下划线{变量及其对目标系列的影响。重要的是,使用特殊设计的正则化指南可以将模型简化为正则化的普通微分方程(ODE)问题,这使得可以触犯的PDE问题以获得数值解决方案,并且可行,以预测目标序列的多个未来值。广泛的实验表明,我们提出的模型可以在强大的基准中实现竞争精度:平均而言,它通过降低RMSE的$ 9.85 \%$和MAE的MAE $ 13.98 \%$的基线表现优于最佳基准,以获得任意步骤预测的MAE $。
translated by 谷歌翻译
本文解决了人类运动预测的问题,包括预测未来的身体从历史上观察到的序列构成的构成。尽管其性能,但当前的最新方法依赖于任意复杂性的深度学习体系结构,例如经常性神经网络〜(RNN),变压器或图形卷积网络〜(GCN),通常需要多个培训阶段,等等。超过300万参数。在本文中,我们表明,这些方法的性能可以通过轻巧且纯粹的MLP体系结构超越,并且与几种标准实践(例如用离散的余弦变换代表身体姿势(DCT))相结合时,只有0.14亿个参数,预测关节的残留位移和优化速度作为辅助损失。对人类360万的详尽评估,Amass和3DPW数据集表明,我们的方法(我们将其配置为Simlpe)始终优于所有其他方法。我们希望我们的简单方法可以为社区提供强大的基准,并允许重新考虑人类运动预测的问题,以及当前的基准是否确实需要复杂的建筑设计。我们的代码可在\ url {https://github.com/dulucas/simlpe}上获得。
translated by 谷歌翻译
做出强大的预测是一个重要的挑战。联邦学习(FL)中的一个单独挑战是减少交流回合的数量,尤其是因为这样做会降低异质数据设置的性能。为了解决这两个问题,我们对学习全球模型的问题有贝叶斯的看法。我们展示了如何使用客户预测性后代近似全局预测后验。这与其他作品不同,该作品将局部模型空间后代汇总到全局模型空间后部,并且由于后部的高维多模式性质而易受高近似误差的影响。相比之下,我们的方法对预测后期进行了聚集,由于输出空间的低维度,通常更容易近似。我们基于此想法提出了一种算法,该算法在每个客户端对MCMC采样进行了进行估计,然后在一轮中汇总它们以获得全局合奏模型。通过对多个分类和回归任务的经验评估,我们表明,尽管使用了一轮通信,但该方法与其他FL技术具有竞争力,并且在异质环境上的表现优于它们。该代码可在https://github.com/hasanmohsin/fedpredspace_1 round上公开获得。
translated by 谷歌翻译
在适用联合学习框架(FL)框架的典型情况下,客户常见的是没有足够的培训数据来产生准确的模型。因此,不仅提供点估计的模型,而且提供一些信心概念是有益的。高斯工艺(GP)是一种强大的贝叶斯模型,随着自然校准的差异估计。但是,学习独立的全球GP是一项挑战,因为合并本地内核会导致隐私泄漏。为了保护隐私,以前考虑联合GPS的先前作品避免通过专注于个性化设置或学习本地模型的合奏来避免学习全球模型。我们提出了联邦贝叶斯神经回归(FEDBNR),这是一种算法,该算法学习了可扩展的独立全球联合GP,尊重客户的隐私。我们通过定义统一的随机内核来结合深内核学习和随机特征,以进行可伸缩。我们显示这种随机的内核可以恢复任何固定的内核和许多非平稳核。然后,我们得出了一种学习全局预测模型的原则方法,就像所有客户数据都集中一样。我们还学习针对非相同和独立分布(非I.I.D。)客户的知识蒸馏方法的全球核。与其他联合GP模型相比,在现实世界回归数据集上进行了实验,并显示出统计学上显着的改进。
translated by 谷歌翻译
我们提出了一个基于按键的对象级别的SLAM框架,该框架可以为对称和不对称对象提供全球一致的6DOF姿势估计。据我们所知,我们的系统是最早利用来自SLAM的相机姿势信息的系统之一,以提供先验知识,以跟踪对称对象的关键点 - 确保新测量与当前的3D场景一致。此外,我们的语义关键点网络经过训练,可以预测捕获预测的真实错误的关键点的高斯协方差,因此不仅可以作为系统优化问题中残留物的权重,而且还可以作为检测手段有害的统计异常值,而无需选择手动阈值。实验表明,我们的方法以6DOF对象姿势估算和实时速度为最先进的状态提供了竞争性能。我们的代码,预培训模型和关键点标签可用https://github.com/rpng/suo_slam。
translated by 谷歌翻译
我们用模板,被称为模板 - nerf的模板,用于建模外观和几何形状,在同一类别的对象中同时产生密集形状对应,而无需3D监督或地面的需要 - 履约知识。学习的密集信念可以容易地用于基于图像的各种基于图像的任务,例如Keypoint检测,部分分割和先前需要特定模型设计的纹理传输。我们的方法还可以以一种或多次拍摄方式容纳注释传输,只给出类别的一个或几个实例。使用定期激活和特征性线性调制(胶片)调节,我们在3D数据上引入深度隐式模板,进入3D感知图像综合管线NERF。通过在与共享NERF模板的形状和外观变化相同的类别内表示对象实例,我们所提出的方法可以实现密集的形状对应于图像上的图像以获得各种对象类。与基于3D信息的其他方法相比,我们展示了与竞争结果的合成和实际数据的结果和应用程序。
translated by 谷歌翻译
主题标签的生成旨在从微博帖子中生成简短和非正式的局部标签,在该帖子中,令牌或短语形成主题标签。这些令牌或短语可能源自原始文本中的主要碎片文本片段(例如,段),并分为不同的段。但是,传统的序列到序列生成方法很难从不同的文本粒度中滤除次级信息,并且不擅长选择关键令牌。因此,它们在产生更多凝结的主题标签时是次优的。在这项工作中,我们提出了一个基于变压器的生成模型,并为原始编码和解码阶段添加了一个段选择过程。段选择阶段基于一种新型的细分选择机制(SSM),以对全球文本,本地段和令牌上的不同文本粒度进行建模,从而有助于产生冷凝标签。具体而言,它首先关注主要的语义段,然后通过选择关键令牌将不连续的段从源文本转换为一系列主题标签。对两个数据集的广泛评估揭示了我们的方法的优势,并对提取和发电基线进行了重大改进。代码和数据集可在https://github.com/opensum/hashtaggen上找到。
translated by 谷歌翻译